Sau khi chiếm được toàn cõi Nam Kỳ, ngày 14 tháng 11 năm 1874, Thống đốc Nam Kỳ, Chuẩn Đô đốc (Contre-amiral) Pháp Jules François Emile Krantz (1821-1914) đã ký nghị định thành lập một ngôi trường trung học tại Sài Gòn nhằm phục vụ nhu cầu đào tạo con em những người Pháp tại Sài Gòn.[2] Chương trình giảng dạy theo chính quốc, dạy từ tiểu học đến tú tài (chương trình Pháp). Trường sở được khởi công xây dựng ngay vào năm 1874 và hoàn tất vào năm 1877.

Lúc đầu trường có tên Collège Indigène (Trung học bản xứ),[3] không lâu sau được đổi tên thành Collège Chasseloup Laubat, theo tên Bộ trưởng Pháp quốc hải ngoại (còn gọi là Bộ Thuộc địa) lúc bấy giờ là Hầu tước François de Chasseloup-Laubat (François Charles Louis, marquis de Chasseloup-Laubat; 1754-1833).

Ban đầu, trường chỉ nhận các học sinh người Pháp, đến đầu thế kỷ 20 thì mở rộng để nhận thêm học sinh người Việt, tuy nhiên phải có quốc tịch Pháp. Do đó, trường phân biệt thành 2 khu:

• Khu dành riêng học trò người Pháp, gọi là Quartier Européen
• Khu dành cho học trò Việt có học thêm giờ tiếng Việt, gọi là Quartier indigène (khu bản xứ)

Cả hai khu này đều học chung chương trình Pháp và thi tú tài Pháp.

Tuy là một khu trường dành cho những người có quốc tịch Pháp (do đó, trường còn có tên là trường Bổn quốc Sài Gòn, khác với các trường bản xứ khác), vào năm 1926, những học sinh người Việt đã viết lên bảng 4 chữ A.B.L.F, viết tắt câu "A bas les Français" (nghĩa là "Đả đảo thực dân Pháp") trong một lần bãi khóa để tang nhà chí sĩ Phan Chu Trinh.

Ngày 28 tháng 11 năm 1927, Toàn quyền Đông Dương G. Gal ra một nghị định thiết lập tại Chợ Quán một phân hiệu tạm thời của Collège Chasseloup Laubat dành cho học sinh người bản xứ lấy tên là Collège de Cochinchine. Phân hiệu này được đặt dưới sự điều hành của Ban Giám đốc Trường Chasseloup Laubat và một giáo sư phụ trách tổng giám thị của phân hiệu.

Ngày 11 tháng 8 năm 1928, Toàn quyền Đông Dương tạm quyền René Robert ký nghị định số 3116 gồm 6 điều, thành lập tại Chợ Quán, kể từ đầu niên học 1928-1929 một trường Cao đẳng Tiểu học Pháp bản xứ, chuyển giao phân hiệu tạm thời với trên 200 học sinh của Collège Chasseloup Laubat nói trên vào trường này, có sáp nhập một hệ Trung học Đệ nhị cấp bản xứ (Lycée) để thành lập một trường mới, về sau có tên là Lycée Petrus Trương Vĩnh Ký, hay trường Petrus Ký.

Ngoài con em của các quan Pháp, những học sinh xuất sắc nhất của đất Nam kỳ cũng được tuyển chọn theo học. Sau mỗi kỳ thi, kết quả học tập của từng người còn được đăng trên Gia Định Báo.[2]

Sau năm 1954, với dụng ý tránh gợi nhớ thời thuộc địa, trường được đổi tên là trường Jean Jacques Rousseau, dạy chủ yếu là học sinh người Việt, nhưng vẫn do người Pháp quản lý. Đến 1967, trường được trả lại cho Bộ Quốc gia Giáo dục Việt Nam Cộng hòa và trở thành Trung tâm giáo dục Lê Quý Đôn. Từ 1975, chính quyền Việt Nam vẫn giữ tên gọi Lê Quý Đôn cho ngôi trường này, tuy nhiên phân tách thành hai khu dành cho học sinh cấp II (trường THCS Lê Quý Đôn) và khu dành cho học sinh cấp III (trường THPT Lê Quý Đôn). Đây là ngôi trường cổ xưa nhất tại Thành phố Hồ Chí Minh.[4]